Theo truyền thuyết, vào một năm đại hồng thủy, có một quả chuông vàng trên một chiếc bè trôi vào bãi sông thuộc địa phận thôn Nhân Dục, tổng An Tảo, huyện Kim Động, phủ Khoái Châu, tỉnh Hưng Yên xưa (nay thuộc phường Hiến Nam, thành phố Hưng Yên). Các nơi đua nhau kéo chuông về địa phương mình nhưng không được. Chỉ có những bô lão thôn Nhân Dục mới kéo được chuông. Dân làng cho là trời Phật giúp đỡ bèn góp công của dựng chùa, xây lầu treo chuông. Mỗi lần đánh chuông, tiếng vang xa hàng vạn dặm. Do vậy chùa có tên gọi là Kim Chung Tự (chùa chuông vàng), tên thường gọi là chùa Chuông.